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@ Verfahren zum Wiedererkennen von unikaten Bildsignalen und Vorrichtung zur Durchfuhrung des Verfahrens 



) Das Verfahren zum Wiedererkennen von unikaten Bildsi- 
gnalen, insbesondere von unikaten Bildfolgen tastet Lumin- 
anzwerte vorbestimmter Pixel und vorzugswelse vorbe- 
stimmter Gruppen von Pixeln (Cluster) ab, bildet ein Diffe- 
renzsignal zwischen den Luminanzwerten der vorbestimm- 
ten Cluster und aus diesen Differenzwerten eine Signum- 
funktion. Pro Vollbild entsteht damit ein binarer Merkmals- 
vektor, dessen Lange der Anzahl der pro Vollbild abgetaste- 
ten Cluster entspricht. Fur eine vorbestimmte Anzahl aufeln- 
anderfolgender Vollbilder (z. B. 51) wird dann ein Bildse- 
quenz-Merkmaisvektor gebildet, der nach jedem Vollbild 
aktuatisiert wird. Nach jedem Vollbild wird der aktualisierte 
Merkmalsvektor mit einar Vielzahl von in gleicher Weise 
ermitteiten Merkmalsvektoren, die abgespeicherte, wieder- 
zuerkennende Bildfolgen identifizieren, korreliert. Bei einem 
vorbestimmten Korrelationswert, wird ein Signal "Bildfolge 
wiedererkannt" erzeugt. 
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Beschreibung tung auf einem Forderband transportiert wird, vgL DE- 

Al-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE 

Die Erfindung bezieht sich auf ein Verfahren zum Al 40 34 742, DE-C2-30 01 588 oder DE-OS 24 26 803. 

Wiedererkennen von unikaten Bildsignalen, insbeson- AH diese bekannten Verfahren untersuchen einzelne 

dere von Fernsehbildern und eine Vorrichtung zur 5 Bilder aber keine Bildfolgen. Woilte man mit diesen 

Durchfflhrung des Verfahrens. FUr verschiedene Zwek- Verfahren Bildfolgen von Fernsehbildern von einer 

ke wie z. B. statistische Auswertungen, Abrechnungen, Wiederholfrequenz von 25 Vollbildern pro Sekunde an- 

etc, ist es wflnschenswert, f estzustelien, ob ein bestimnv wenden, so wurde der Aufwand unvertretbar ansteigen. 

tes Bild oder eine bestimmte Bildfolge in einer Sendung Aus der DE-C2-34 15 685 ist es bekannt, einen Sze- 

vorhanden ist Beispielsweise mochten Auftraggeber 10 nenwechsel bei der Film- und Videoproduktion dadurch 

von Werbespots im Fernsehen flberprufen, ob und wann automatisch zu erkennen, daB eine Szene daraufhin 

der Werbespot von einem Fernsehsender abgestrahlt tiberwacht wird, ob Anderungen der Bildsignale auftre- 

wurde und auch, ob er in voller Lange abgestrahlt wur- ten, die auf ein sich innerhalb der Szene bewegendes 

de oder gekilrzt wurde. Ahnliches gilt fQr Spielfilme und Objekt zuruckzuf flhren sind. Das Problem wird dort so 

sonstige Fernsehsendungen. Bisher wurde dies entwe- 15 gelost, daB mittlere Helligkeitswerte eines Bildes gebil- 

der von Personen ttberprflft, die das vollstandige Pro- det und mit den mittleren Helligkeitswerten eines un- 

gramm flberwachten und entsprechende Aufzeichnun- mittelbar darauf folgenden Bildes laufend verglichen 

gen machten oder dadurch, daB das vollstandige Pro- werden, wobei durch Bewegungen verursachte Hellig- 

gramm auf Videorecordern aufgezeichnet wurde und keitsanderungen durch nachgeschaltete Filter eliminiert 

anschlieBend die Abstrahlung bestimmter Sendungen 20 werden, derart, daB n diskrete Differenzwerte auf einen 

darauf tiberprtift wurde. Diese Methoden sind sehr per- einzelnen Szenenwechselimpuls untersucht werden. Die 

sonalaufwendig und aufgrund menschlichen Versagens, aus dem Vergleich gewonnenen Ergebnisse werden 

Unaufmerksamkeit, eta nicht zuverlassiggenug. dann automatisch bewertet und ausgegeben. Fur die 

Eine ahnliche Problematik stellt sich auch bei der Wiedererkennung von als Unikate vorliegenden Refe- 

Oberwachung von Sprach- und Musiksendungen, wo 25 renz-Bildfolgen ist dieses Verfahren nicht geeignet, zu- 

dieses Problem in der EP 0 296 588 A2 dadurch gelost mal gerade bei Werbesendungen Ober relativ lange 

wird, daB von den zu untersuchenden Tonsignalen je- Zeitraume von einigen Sekunden auch unbewegte 

weils Hullkurven gebildet und diese HQllkurven auf ei- Standbilder gesendet werden und Szenenwechsel fur 

nen engen, niedrigen Frequenzbereich bandbegrenzt das Wiedererkennen ganz bestimmter (unikater) Bild- 

werden. Zeitliche Ausschnitte werden nach Digitalisie- 30 folgen nicht aussagekraftig sind. 

rung in einem Speicher als "Masken" gespeichert Bei Aus der GB-PS 1 603 940 ist ein Kamera-Oberwa- 

der Oberwachung von Sendungen werden dann die chungssystem bekannt, das automatisch feststellt, ob 

bandbegrenzten HQllkurvensignale der zu untersuchen- sich im Kamerabereich befindliche Objekte bewegen. 

den Tonsignale in gleichlangen Abschnitten in einem Hierzu werden Helligkeitswerte von mindestens zwei 

zweiten Speicher zwischengespeichert Innerhalb des 35 unterschiedlichen Bereichen der Szene abgetastet, in 

Zeitraumes zwischen dem Eintreffen zweier aufeinan- elektrische Signale umgewandelt und mit entsprechen- 

derfolgender zu untersuchender Signale wird dann der den Werten einer nachfolgenden Abtastung verglichen. 

Inhalt des Zwischenspeichers rait alien Masken des er- Andern sich die Helligkeitswerte an identischen Bildbe- 

sten Speichers verglichen, wobei bei einem vorgegebe- reichen innerhalb kurz aufeinanderfolgender Zeitinter- 

nen Grad der Obereinstimmung ein Erkennungssignal 40 valle, so ist dies ein sicheres Zeichen fur ein sich bewe- 

erzeugt wird gendes Objekt im Kamerabereich. Der gleiche Grund- 

Eine naheliegende Losung fflr die Oberwachung von gedanke wird ebenfalls bei einem Oberwachungssystem 

Fernsehsendungen ware es, mit diesem aus der gemaB der GB-PS 12 79 451 angewandt Fur die Zwek- 

EP 0 296 588 bekannten Verfahren, die Tonsignale der ke der vorliegenden Erfindung ist dieses Verfahren 

Fernsehfilme, Werbespots, etc. auszuwerten. Dies ffihrt 45 ebenfalls nicht anwendbar, da langer dauernde Standbil- 

aber nicht zu dem gewQnschten Erfolg, da beispielswei- der nicht erkannt werden kdnnen und da Helligkeits- 

se manche Werbespots, bei gleicher Bildfolge, regional wechsel in aufeinanderfolgenden Bildern nicht genug 

mit anderem Text oder anderer Musik abgestrahlt wer- Informationen enthalten, urn als Unikat vorliegende 

den. Bildfolgen einwandfrei wiedererkennen zu kdnnen. 

Somit ist es erforderlich, das Bild oder die Bildfolge 50 Aufgabe der Erfindung ist es daher, ein Verfahren und 

selbst auszuwerten und zu flberprufen, ob eine abge- eine Schaltungsanordnung der eingangs genannten Art 

strahlte Bildfolge mit einer Referenzbildfolge flbereins- zu finden, das mit hoher Sicherheit das Wiedererkennen 

timmt von Bildern oder Bildfolgen gestattet. Ein weiteres Ziel 

Die DE-OS 24 14 809 zeigt einen Mustererkenner, bei der Erfindung liegt darin, das Verfahren weitestgehend 

dem das Bild in Mikrobereiche, d. h. eine Anzahl n von 55 in Echtzeit durchzufuhren und auch zu Qberwachen, ob 

Pixeln aufgeteilt wird. Zur Komprimierung der Informa- eine von vielen BUdfolgen aktuell abgestrahlt wird. Da- 

tion werden Helligkeitsanderungsvektoren bezflglich bei soil der technische Aufwand moglichst gering sein, 

der Mikrobereiche bestimmt Fflr eine Mustererken- was bedingt, die Datenmenge moglichst zu reduzieren, 

nung ist zusatzlich ein Vergleicher zum Vergleichen mit was wiederum Voraussetzung daftir ist, das Verfahren 

mehreren voreingestellten Einheitsvektoren vorgese- eo weitestgehend in Echtzeit ablaufen zu lassen. 

hen. Ein Vergleicherentscheider vergieicht den erzeug- Diese Aufgabe wird durch die im Patentanspruch 1 

ten Eigenschaftscode fflr jeden Mikrobereich mit einem angegebenen Merkmale gelost. Vorteilhafte Ausgestal- 

gespeicherten Eigenschaftscode und erzeugt bei ent- tung und Weiterbildungen der Erfindung sind den Un- 

sprechender Obereinstimmung ein Ausgangssignal. teransprflchen zu entnehmen. 

Verfahren zur Bilderkennung werden in verschiede- 65 Fur die Erkennung eines unikaten Bildes ist es mit 

nen Bereichen der Technik angewandt, beispielsweise Sicherheit ausreichend, alle Bildpunkte eines ausge- 

bei der industrieUen Fertigung, um festzustellen, ob ein strahlten Bildes mit alien Bildpunkten eines Referenzbil- 

bestimmter Gegenstand in einer bestimmten Ausrich- des zu vergleichen. Dies wurde jedoch zu einer zu ver- 
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gleichenden Datenmenge fflhren, die in einer Echtzeit- 
verarbeitung nicht mehr zu bewaltigen ware. Ein Voll- 
bild einer Fernsehabstrahlung mit beispielsweise 620 
Spalten und 512 Zeilen enthalt 317.440 Pixel. WOrde 
man hierbei die Luminanzwerte (Helligkeitswerte) aus- 5 
werten und die Farbinformation unberiicksichtigt lassen 
und mit einer Amplitudenaufldsung der Luminanzwerte 
von 8 Bit arbeiten, was 256 Graustufen entspricht, so 
hatte man pro Vollbild eine Datenmenge von rund 317 
Kbyte pro Bild. Bei 25 Vollbildern pro Sekunde entspra- 10 
che dies einem zu verarbeitenden DatenfluB von rund 8 
Mbyte pro Sekunde. Ein praktikabler und weitestge- 
hend in Echtzeit arbeitender Ansatz zur Erkennung un- 
ikater Bildsignale muB also versuchen, mit Teilmengen 
dieses groBen Datenumfanges auszukommen. Theore- 15 
tisch genOgt schon ein einzelnes Bildelement (Pixel) um 
bei storungsfreier Obertragung das gesuchte Bild wie- 
der zu finden. Dabei wird man allerdings eine groBe 
Anzahl anderer Bilder identifizieren, die zufallig in die- 
sem einen Pixel mit dem gesuchten Bild iibereinstimmen 20 
(Falscherkennung). Ein Problem besteht also darin, eine 
mdglichst geringe aber doch ausreichende Zahl von 
Bildmerkmalen zu definieren, die das MaB der Falscher- 
kennung auf ein fur den jeweiligen Anwendungszweck 
vertretbares MaB reduzieren. 25 

Bei der Erfindung werden die Luminanzwerte (Hel- 
ligkeitswerte) verschiedener Pixel erfaBt Ein einziges 
Pixel ist wegen des immer vorhandenen Rauschens fur 
einen Vergleich aber nicht geeignet Wird beispielswei- 
se der Luminanzbereich von 0 V bis 1 V mit 8 Bit digita- 30 
lisiert codiert, so reprasentiert eine Quantisierungsstufe 
der Digitalisierung einen Spannungsbereich von ca. 4 
mV. Bei einem betrieblichen Stdrabstand von 40 dB be- 
zogen auf einen 700 mV WeiBwert betragt die effektive 
St6ramplitude 7 mV und ist damit doppelt so hoch wie 35 
eine Quantisierungsstufe. Der Luminanzwert eines Pi- 
xels schwankt somit zufallig um mehrere Quantisie- 
rungsstufen. Beim Vergleich zweier entsprechender Pi- 
xel mflBte man ein mehrere Stufen umfassendes Tole- 
ranzfenster zugrundelegen. Zusatzlich sprechen gegen 40 
die Verwendung eines einzelnen Pixels als Vergleichs- 
merkmal folgende Grunde: Bei der Bildspeicherung, 
-Obertragung und der -erfassung kann es je nach ver- 
wendetem Verfahren zu zeitlichen Ungenauigkeiten 
kommen, die sich in einer zufalligen Positionsanderung 45 
des Pixels, bezogen auf die Spalten oder Zeilen des Bil- 
des, bemerkbar machen. Diese zeitliche Ungenauigkeit 
kann im Bereich von einigen Nanosekunden liegen. Es 
wttrden dann Pbcel miteinander verglichen, die in Wirk- 
lichkeit keinen Bezug zueinander haben. 50 

Um diese Schwierigkeiten zu umgehen, werden bei 
der Erfindung sogenannte Cluster gebildet, die aus meh- 
reren Pixeln bestehen. Dabei wird der mittlere Lumin- 
anzwert der Pbcel eines Clusters oder die Summe der 
Luminanzwerte der Pixel eines Clusters bestimmt. Vor- 55 
zugsweise sind die Cluster aus einem raumlich zusam- 
menhangenden Bereich des Bildes entnommen und wie- 
derum hier vorzugsweise aus einem quadratischen Be- 
reich. 

Fiir die Auswahl der GroBe der Cluster bei der Erfm- 60 
dung waren folgende Oberlegungen maBgeblich: Stati- 
stische Messungen an tausenden von Bildern haben ge- 
zeigt, daB der von der Norm vorgesehene Spektralbe- 
reich fOr Videosignale von 5 Mhz bei weitem nicht aus- 
genutzt wird. Demnach bestehen Bilder im Mittel uber- 65 
wiegend aus tieffrequenten Informationen, was auch aus 
dem Bildinhalt verstandlich wird, wo typische Objekte 
mit bestimmter Mindestausdehnung dargestellt werden. 



Es zeigte sich allerdings auch, daB es keine bevorzugte 
ObjektgrdBe gibt, sondern einen gleitenden Obergang 
von feinster Struktur zu groben, homogenen Flachen. 
MeBtechnisch kann man diese Bildeigenschaften durch 
die Erfassung der zeitlich gemittelten Varianz bzw. der 
Standardabweichung eines Zeilenclusters beschreiben. 
Ein vollig homogenes Gebiet konstanter Luminanz 
wGrde die Varianz 0 aufweisen; ein fur den gesamten 
Bildinhalt reprasentatives Cluster hatte die grdBtmogli- 
che Varianz. 

Fig. 1 zeigt die Standardabweichung eines Spielfilms 
(Werbung) in Abhangigkeit von der ClustergrdBe und 
zum anderen die gleiche Messung an bandbegrenztem 
Rauschen (6 Mhz) als Videosignal. Fur die Wahl der 
ClustergrdBe gibt es nach diesen Messungen keine ein- 
deutigen, scharf abgrenzbaren Kriterien. Sie sollte gera- 
de so groB sein, daB die genannten Zeitprobleme unter- 
druckt und der EinfluB des Rauschens gemindert wird. 
Sie sollten aber nicht so groB sein, daB relevante Bildde- 
tails durch die Mittelwertbildung nicht mehr erkannt 
werden. Als vernQnftiger KompromiB wird bei einem 
bevorzugtem Ausfiihrungsbeispiel der Erfindung eine 
ClustergrdBe von 5x5 Pixeln, angeordnet im Quadrat, 
gewahlt Diese Wahl ist zunachst jedoch nur als erste 
Naherung an ein relatives Optimum anzusehen und 
kann in gewissen GroBen geandert werden. Bei dieser 
ClustergrdBe wird der Storabstand im gOnstigsten Fall 
um den Faktor 5 entsprechend 14 dB durch Mittelung 
verbessert 

Bei der Erfindung werden mehrere Mittelwerte sol- 
dier Cluster miteinander "verglichen". Es stellen sich die 
Fragen, wie viele Cluster verwendet werden, wie diese 
in Form von "Masked auf dem Bild verteilt werden und 
wie sie zu vergleichen sind. Aufgrund der in Echtzeit zu 
verarbeitenden Datenmenge, der heutigen Arbeitsge- 
schwindigkeit von Hardware-Bausteinen und den Ge- 
nauigkeitsanforderungen an die Bilderkennung kommt 
die Erfindung zu der Erkenntnis, daB es ausreicht, aus 
jedem Vollbild von 40 ms Dauer ein Merkmal von 10 Bit 
abzuleiten. Hierzu schlagt die Erfindung in einem Aus- 
fiihrungsbeispiel vor, 10 Cluster pro Vollbild zu verwen- 
den und die mittlere Luminanz von in einer vorgegebe- 
nen Reihenfolge "benachbarter" Cluster miteinander zu 
vergleichen. Der Vergleich besteht hier in einer Diffe- 
renzbildung der Luminanzwerte. Aus dieser Differenz 
wird dann das mathematische Vorzeichen (Signumfunk- 
tion) digital codiert. Mit anderen Worten wird bei dem 
Vergleich nur untersucht, welcher von zwei miteinander 
zu vergleichenden Clustern heller ist, d. h. einen gr6Be- 
ren mittleren Luminanzwert hat Um auch den Fall zu 
erfassen, daB zwei "benachbarte" Cluster innerhalb der 
bei der Digitalisierung auftretenden Quantisierung glei- 
che Helligkeitswerte haben, wird . der Vergleich wie 
folgt durchgefOhrt: 

Cluster (n) < Cluster (n + 1) « 1 
Cluster (n) > - Cluster (n + 1) = 0. 

Zusatzlich kann fur den Vergleich noch eine Hystere- 
se vorgesehen sein, dergestalt, daB die erste Bedingung 
"Cluster (n) < Cluster (n + 1)" nur dann als erfttllt 
angesehen wird, wenn die Differenz der Luminanzwerte 
der beiden zu vergleichenden Cluster groBer als ein 
vorgegebener Schwellwert ist, wahrend fur alle anderen 
Falle die zweite Bedingung "Cluster (n) > = Cluster (n 
+ 1)" als erfullt angesehen wird. Der Schwellwert kann 
beispielsweise zwei Digitalisierungsstufen betragen. 

Bei zehn Clustern je Bild ergeben sich somit zehn 
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Differenzen, die sich nach der entsprechenden Vorzei- Standbildern der InformationsgehaJt entsprechend der 

chencodierung als 10 Bit darstellen iassen. Bei diesem An2ahl der ra6glichen Masken verdoppelt oder yerviel- 

Vergleich wird der zehnte Cluster eines Vollbildes mit facht Die Clusteranordnungen sind dabei mOglichst so 

dem ersten Cluster des nfichsten VoUbildes verglichen. zu wShlen, daB sie untereinander nicht zu Korrelationen 

Es ware aber auch moglich, den zehnten Cluster eines 5 fflhren, die Clusteranordnungen also orthogonal zuein- 

Vollbildes mit dem ersten Cluster desselben VoUbildes ander sind, d. h. die Anordnungen der Cluster der beiden 

zu vergleichen. Diese Vorzeichencodierung (Signum- Masken sind um 90° gegeneinander gedreht 

funktion) hat nicht nur den Vorteil einer enormen Da- Bei der Erzeugung des Testmusters und beim Vor- 

tenreduktion, sondern auch, daB der Code unempfind- gang der Bilderkennung wird also beispielsweise mit 

lich gegenQber Pegelschwankungen der Luminanzwer- 10 zwei Masken gearbeitet, beim ersten Bild mit Maske 1, 

te ist beim zweiten Bild mit Maske 2, usw, d h. bei ungerad- 

Die Lage der Cluster und die Reihenfolge ihrer Ab- zahligen Bildern mit Maske 1, bei geradzahligen Bildern 

frage ergibt sich indirekt aus dem Oberlegungen zur mit Maske 2. Beim KorrelationsprozeB, d h. beim Ver- 

ClustergroBe. Wfthrend bei der Clusterbildung m6g- gleich der gespeicherten Merkmalsvektoren mit den ak- 

lichst korrelierte Bildeiemente, d. h. Pixel mit innerer 15 tuellen Merkmalvektoren, ergibt sich das Problem, daB 

Bindung der Bildbereiche zu einem Cluster zusammen- es bei dem zu vergleichenden Bild unbekannt ist, mit 

gefaBt wurden, mOssen fdr die Lage der Cluster und die welcher der beiden Masken das entsprechende Testmu- 

Reihenfolge ihrer Abfrage die einzelnen Cluster zur ster codiert wurde. Zur Losung dieses Problems wird 

Verbesserung des Informationsgehaltes moglichst un- daher jedes Testbild mit beiden mdglichen Clusteran- 

abhfingige Bildbereiche reprfisentieren. Ihre Abfrage- 20 ordnungen (Masken) codiert und es werden zwei unter- 

reihenfolge wird daher so gewahlt, daB sich im Mittel schiedliche, zueinander orthogonale Testsequenzen er- 

eine m6glichst groBe Sprungweite ergibt Der Abfrage- zeugt und gespeichert Die Abtastung des lauf enden 

weg wird dann maximal. Die Cluster konnen statistisch Programmes erfolgt aber nur mit einer Sequenz, so daB 

im Bild angeordnet werden und sind vorzugsweise mog- auch nur ein laufender Merkmalsvektor gebildet wird 

Iichst gleich Uber den gesamten Bildbereich verteilt 25 Dieser muB dann auch nicht mit beiden gespeicherten, 

Da pro Vollbild nur eine sehr kleine Anzahl, bei 10 zueinander orthogonaJen Test-Merkmalsvektoren ver- 

Clustern pro Vollbild also nur 10 Bit verwendet werden, glichen werden. Die Korrelation erfolgt vielmehr nur 

um ein Bild zu identifizieren, ist die Wahrscheinlichkeit mit dem gespeicherten Merkmalsvektor, der mit der 

einer Falscherkennung noch recht hoch. Mit 10 Bit lie- gleichen Clusteranordnung (Maske) beginnt, wie das 

Ben sich theoretisch nur 2 10 » 1024 verschiedene Bilder 30 laufende Programm. Wenn beispielsweise grundsStzlich 

identifizieren. Jedes nur denkbare Bild HeBe sich dann bei alien Testmustern das erste, also ungerade Bild mit 

eindeutig einer Klasse von 1024 mdglichen Bildern zu- der Maske 1 codiert wird, dann wird es nur mit dem 

ordnen. FOr die Wiedererkennung unikater Bildsignale Muster des laufenden Programmes korreliert, das zur 

ist damit aber ein Merkmalsvektor von 10 Bit zu kurz. Zeit ebenfaDs mit Maske 1 beim ersten Bild beginnt 

Die Erfindung schlagt daher weiter vor, einen 15nge- 35 Durch diese orthogonalen Anordnungen von zwei 

ren Merkmalsvektor zu bilden, durch entsprechendes Masken steigt der Korrelationsaufwand nicht, es muB 

Abtasten mehrerer aufeinanderfolgender Bilder. In ei- nur sichergestellt sein, daB das jeweils "richtige" Test- 

nem Ausftlhrungsbeispiel der Erfindung werden 51 auf- muster zur Verffigung steht Da bei der Abtastung des 

einanderfolgende Bilder ausgewertet, was bei 40 ms pro aktuellen Bildes bekannt ist, mit welcher der beiden 

Vollbild dann einer Bildfolge von 2,04 Sekunden ent- 40 Masken die Abtastung begonnen wurde, ist eine eindeu- 

spricht Man erhfilt dann bei 51 Bildern a 10 Bit einen tige Zuordnung moglich, so daB dann bei der Korrela- 

Merkmalsvektor von 510 Bit tion auf denjenigen gespeicherten Merkmalsvektor zu- 

Bei der beschriebenen Form des Datenformates mit gegriffen werden kann, der mit derselben Maske be- 

51 Bildern erhalt man sehr gute Erkennungsergebnisse ginnt 

mit Obereinstimmungen von uber 90%. Gelegentliche 45 Eine Modifikation der Erfindung sieht vor, daB bei 

zuf&llige Obereinstimmungen mit anderen Bildfolgen gleich langem Merkmalsvektor ftir eine Bildsequenz das 

weisen einen Grad von hochstens 75% auf. Bei einer VerhSltnis von Cluster pro Bild und Anzahl der aufein- 

Erkennungsschwelle von ca. 85% betrug die Erken- anderfolgenden Bildern verandert werden kann. Be- 

nungsrate in Laborversuchen mit einem Gerat nach der schrankt man beispielsweise den Merkmalsvektor auf 

Erfindung 100% bei 0% Falscherkennungen. Dies gait 50 510 Bit, so kdnnen in einem Extremfall510Bit pro Voll- 

fQr Bildsequenzen mit starkem szenischen Wechsel. bild verwendet werden, so daB also nur noch ein Voll- 

Unterscheiden sich die Bilder innerhalb einer Se- bild verglichen wird Im anderen Extremfall konnen 510 

quenz nicht, beispielsweise wenn mehrere oder alle auf- Vollbilder mit je nur einem Cluster verglichen werden. 

einanderfolgende Bilder gleich sind, was bei Standbil- Dazwischen sind eine Vielzahi von anderen Kombina- 

dern der Fall ist, ist der Informationsgehalt des Merk- 55 tionen m6glich. Anders ausgedruckt kann man grand- 

malsvektors von 510 Bit zu gering und es kommt zu satzlich von 510 vorzeichencodierten Clusterdifferen- 

Falscherkennungen. Der Merkmalsvektor von 510 Bit zen sprechen, die bedarfsgemaB gleichmfiBig Uber eine 

ist ja dann streng periodisch aufgebaut mit einer Perio- entsprechende Anzahl von Bildern verteilt werden k6n- 

dizitat von 1 0 Bit nen. Man kann auch noch weiter verallgemeinern indem 

Nach einer Weiterbildung der Erf indung lSBt sich der 60 grundsatzlich bei jeder Testmustergewinnung von je- 

Informationsgehalt jedoch deutlich steigern, indem auf- dem Bild eine Vielzahi von Clusterdifferenzen codiert 

ein anderfolgenden Bildern unterschiedliche Merkmale wird und es wird jedem Referenzmuster ein Schlussel- 

entnommen werden. Nach diesem AusfUhrungsbeispiel wort mitgegeben, das angibt, mit welcher Teilmenge des 

der Erfindung wird also abwechselnd mit zwei "Masken" Testmusters korreliert werden solL Auf diese Weise las- 

fOr die Anordnung der Cluster gearbeitet Selbstver- 65 sen sich bildgenaue z. B. auf ein Senderlogo abgest elite 

stfindlich liegt es auch im Rahmen der Erfindung mit und szenenorientierte Referenzmuster erzeugen. 

mehr als zwei solcher Masken zu arbeiten, die dann Im folgenden wird die Erfindung anhand eines Aus- 

zyklisch angewandt werden. Dadurch wird selbst bei fuhrungsbeispieles im Zusammenhang mit der Zeich- 
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nung ausfOhrlicher erlautert Es zeigt wobei jedes Vollbild 1 0 Bit des Musters einnimmt 

Fig. 1 Ein Diagramm der Standardabweichung eines Wie schon oben erwahnt, besteht jeder Cluster aus 

Spielfilms in Abhangigkeit von der ClustergroBe (An- mehreren Pixeln, die hier beispielsweise in einem Recht- 

zahl der Pixel); eck von 5x5 Pixel angeordnet sind. Die Pixel jedes 

Fig. 2 eine schematische Darstellung der Anordnung 5 Clusters sollen moglichst nahe beieinander liegen, urn so 

der Cluster mit zwei zueinander orthogonalen Masken vom Bildinhalt her mdglichst miteinander zu korrelie- 

und das sich hieraus ergebende Referenzmuster; ren, d. h. hinsichtlich ihres Luminanzwertes eine innere 

Fig. 3 eine schematische Darstellung zur ErlSuterung Bindung zueinander haben. 

des Korrelationsvorganges bei Verwendung von zwei Fig. 3 zeigt schematisch den Vorgang der Korrelation 

alternierend wirksamen Masken (Anordnung der Clu- 10 eines Referenzmuster aus einem laufenden Programm 

ster). mit gespeicherten Testmustern. Zur Erzeugung des 

Fig. 4 ein Diagramm der Korrelationsergebnisse bei Testmusters wird jede Bildfolge (hier 51 Bilder) mit bei- 

"richtiger" und "falscher" Korrelation des laufenden Pro- den Masken nach Fig. 2a und Fig. 2b abgetastet Die mit 

grammes mit den unterschiedlichen Testmustern; Maske 1 beginnende Abtastung bildet einen ersten 

Fig. 5 ein Blockschaltbild eines Gerates zur Signal- 15 Merkmaisvektor, der in einem Testspeicher 1 abgespei- 

vorverarbeitung fur die Erkennung unikater Bildsignale chert ist. Die mit Maske 2 beginnende Abtastung bildet 

nach einer ersten Variante der Erfindung; einen zweiten Merkmaisvektor, der in einem Testspei- 

Fig. 6 ein ahnliches Blockschaltbild fur eine zweite cher 2 abgespeichert wird. Die beiden Merkmalsvekto- 
Variante nach der Erfindung; ren sind also zueinander orthogonal. Das laufende Pro- 
Fig. 7 ein vereinfachtes Blockschaltbild eines Gerates 20 gramm (Referenzmuster) wird in einer vorgegebenen 
zur Durchf uhrung der Korrelation; und und damit bekannten Maskenfolge abgetastet, d. h. ent- 

Fig. 8 ein detaillierteres Blockschaltbild eines Gerates weder beginnend mit Maske t oder Maske 2. Wird das 

zur DurchfOhrung der Korrelation nach einem AusfOh- Referenzmuster entsprechend Fig. 2c beginnend mit 

rungsbeispiel der Erfindung. Maske 1 erzeugt, so muB der Vergleich mit dem im 

Fig. 1 macht deutlich, daB die Standardabweichung 25 Testspeicher 1 abgelegten ersten Merkmaisvektor er- 
von Bildfolgen (hier eines Werbefilmes) mit der Cluster- folgeiL Beginnt die Abtastung dagegen mit der Maske 2 
groBe ansteigt (ClustergroBe = Anzahl der Pbcel pro gemaB Fig. 2b so erfolgt der Vergleich mit dem im Test- 
Cluster), so daB es keine eindeutigen, scharf abgrenzba- speicher 2 abgelegten Merkmaisvektor. 
ren Kriterien fur die ClustergrdBe gibt, vielmehr steht es Da jeweils nach jedem Vollbild die Maske gewechselt 
dem Fachmann frei, aufgrund anderer, oben genannter 30 wird und nach jedem Vollbild ein Vergleich zwischen 
Kriterien, die ClustergroBe auszuwahlen. Ein dabei zu dem Testmuster und dem Referenzmuster stattfindet, 
beachtendes Kriterium liegt im Rauschen des Videosi- wird der Vergleich immer abwechselnd mit dem im 
gnales, das ab einer ClustergroBe von etwa 8 Pixel im Testspeicher 1 bzw. dem im Testspeicher 2 abgelegten 
wesentlichen konstant bleibt. Merkmaisvektor erfolgea Pro Referenzmuster muB 

Fig. 2a zeigt schematisch die Anordnung von zehn 35 aber trotzdem jeweils nur ein Vergleich durchgefuhrt 

Clustern t — 10 bzw. deren Verteilung uber die Oberfla- werden. 

che eines Bildes. Durch die Pfeile ist die jeweilige "Rei- Fig. 4 zeigt den Unterschied zwischen einem Ver- 
henfolge" gekennzeichnet, in der die Cluster abgefragt gleich mit dem "richtigen" und einen mit dem "falschen" 
werden, also als (zeitlich) "benachbart" angesehen wer- Testmuster. Bei einem falschen Testmuster wilrde also 
den. Zwischen jeweils benachbarten Clustern wird das 40 der Vergleich im Ergebnis um ein Bild versetzt erfolgen, 
Vorzeichen der Differenz der Luminanzwerte der Clu- was wegen der Orthogonalitat beider Anordnungen kei- 
ster gebildet, also beispielsweise zwischen Cluster 1 und ne Obereinstimmung ergabe. Die obere Kurve zeigt das 
Cluster 2, zwischen Cluster 2 und Cluster 3 usw. bis fur Obereinstimmung typische Maximum. Die Korrela- 
zwischen Cluster 9 und Cluster 10. Der letzte Cluster tion deutet sich also schon einige Bilder vorher an, er- 
(hier Cluster 10) eines Vollbildes wird dann mit dem 45 reicht das Maximum und fallt dann in ahnlicher Weise 
ersten Cluster (Cluster 1) des nachsten Vollbildes vergli- wieder ab. Durch die orthogonalen Anordnungen der 
chen oder bei einer Variante der Erfindung mit dem beiden Masken steigt der Korrelationsaufwand nicht 
ersten Cluster desselben Vollbildes. Die in Fig. 2a dar- Fig. 5 zeigt ein Blockschaltbild eines Gerates fur die 
gestellte Anordnung und Reihenfolge der Cluster bildet Signalvorverarbeitung. Das ubliche Videosignal eines 
eine erste "Maske". 50 Fernsehers wird einem Videoeingang 1 1 zugefuhrt Die- 
Fig. 2b zeigt eine entsprechende zweite Maske, die ses Signal entspricht der CCIR-Norm und ist vom Typ 
gegenuber der ersten Maske der Fig. 2a um 90 Grad BAS mit einer exakt auf 0 Volt geklemmten Schwarz- 
gedreht ist, zu dieser also orthogonal ist schulter. Die Bildamplitude betrSgt 0,7 V. Die Sync-Am- 
Bei der Auswahl "benachbarter" Cluster ist darauf zu plitude -0,3 V. Somit ist dem Videoeingang 11 ein han- 
achten, daB sie raumlich auf dem Bild einen groBen Ab- 55 delsubliches Gerat vorgeschaltet, das den Farbtrager 
stand zueinander haben, damit "benachbarte" Cluster beseitigt und die Schwarzschulter auf 0 Volt festklemmt. 
moglichst voneinander unabhangige Bildbereiche re- Aus diesem Videosignal wird in einem ersten Baustein 
prasentieren. Die Reihenfolge ist daher so festzulegen, 12 eine Taktaufbereitung vorgenommen. Derartige 
daB die raumlichen Abstande "benachbarter" Cluster im Bausteine sind im Handel erhaltlich und extrahieren aus 
Mittelwert mdglichst groB sind eo dem Videosignal folgende Synchronsignale: Austastim- 
Fig. 2c zeigt, wie ein Muster (Merkmaisvektor) durch puis BL, Zeilensynchronimpuls H, Halbbildsynchronim- 
alternierendes Umschalten zwischen den beiden Mas- puis V und einen Vollbildimpuls FR. 
ken nach Fig. 2a und Fig. 2b erzeugt wird. Jeweils ein Mit Hilfe dieser Signale werden in einem als Steuer- 
Vollbild wird mit der ersten Maske nach Fig. 2a abgeta- zentrale bezeichneten Block 13 ein Spalten- und ein 
stet, das nachste Vollbild mit der Maske nach Fig. 2b, 65 Zeilenzahler gespeist, mit Hilfe derer Ausgangssignale 
usw. Im gewahiten AusfQhrungsbeispiel mit einer Se- jedes Pbcel eines Fernsehbildes nach Spalte und Zeile 
quenz von 51 Vollbildern pro Merkmaisvektor ergibt eindeutig identifiziert werden kann. Mittels eines als Co- 
sich dann das schematisch in Fig. 2c gezeigte Muster, dierfeld bezeichneten Blockes 14 werden die einzelnen 
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Cluster, & h. die zu den einzelnen Clustern zu rechnen- Komparatoren umgeschaltet werden und auch der ent- 

den Pixel definiert, so daB dann mit Hilfe der in der sprechende Komparator 17 n der den Vergleich zwi- 

Steuerzentrale 13 vorhandenen Zeilen- und Spaltenzah- schen dem n-ten Cluster und dem (n-l)-ten Cluster 

ler die jeweiligen "Adressen" der auszuwahlenden Pixel durchfOhrt 

bestimmt smd. Die Steuerzentrale 13 steuert Halbleiter- 5 Noch eine weitere Variante der Erfindung besteht 

schalter 15j, 152 . . . 15 n +2 an, wobei n die Anzahl der darin, daB der Vergleich nur innerhalb eines Vollbildes 

abzutastenden Cluster pro Vollbild ist Es sind also zwei in der Weise zyklisch erfolgt, daB der n-te Cluster mit 

Halbleiterschalter mehr vorgesehen als Cluster pro dem ersten Cluster desselben Vollbildes verglichen 

Vollbild abgetastet werden. Jeder Halbleiterschalter ist wird. 

mit einem Integrator I61, 162 . . . 16 n +2 verbunden, der- 10 Fig. 6 zeigt eine zweite Variante ftir die Signalvorver- 
art, daB bei geschlossenem Halbleiterschalter 15 der arbeitung. Der Videoeingang 11, die Taktaufbereitung 
Videoeingang auf den Eingang des zugeordneten Inte- 12 und das Codierfeld 14 haben im Prinzip die gleiche 
grators 16 durchgeschaltet wird. Wird durch die Steuer- Funktion wie im AusfQhrungsbeispiel die Fig. 5. Ahnli- 
zentrale festgestellt, daB eines zu einem Cluster i gehd- ches gilt ftir die Steuerzentrale 13, die hier aber zusatz- 
rendes Pixel am Videoeingang anliegt, so wird der ent- 15 lich die Funktion als AdreBgenerator fiir einen RAM- 
sprechende Schalter durch ein Signal Ij geschlossen und Speicher (Random Access Memory) Qbernimmt. Die 
die zu diesem Pixel gehorende Heiligkeitsinformation Taktaufbereitung 12 erzeugt dieselben Synchronsignale 
(Luminanzwert) wird dem zugeordneten Integrierer 16j wie im AusfQhrungsbeispiel der Fig. 5 und fuhrt diese 
zugeftihrt Auf diese Weise liefert der Ausgang des Inte- der Steuerzentrale zu. Dort wird ein Bildpunkttakt (Pi- 
grators nach Ablauf eines Vollbildes die Summenlurni- 20 xeltaktca. 12— 14 Mhz) erzeugt, der einen Analog/Digi- 
nanz aller zum Cluster i gehorenden Pixelwerte. Die talwandler 20 veranlaBt, ca. alle 70 ns einen aktuellen 
Ausgfinge jeweils zweier nacheinander zu bewertender Luminanzwert des Videosignales in ein 8-Bit- Wort urn- 
Cluster werden einem Komparator 17 zugeftihrt, der an zuwandeln. Gleichzeitig erzeugt die Steuerzentrale 13 
seinem Ausgang eine logische 1 ausgibt, wenn der Lu- aus den Werten der Zeilen- und Spaltenzfihler eine 
minanzwert des Clusters i gr6Ber ist als der des Clusters 25 RAM-Adresse, unter der der aktuell gewandelte Lumin- 
(i + 1). Sind alle fOr einen Vollbildzyklus definierten Clu- anzwert kumulierend gespeichert wird. Hierzu wird ei- 
ster erfaBt und verglichen, speichert ein Taktimpuls CI ner arithmetisch-logischen Einheit (ALU) 21 zum einen 
alle Ausgangswerte der Komparatoren 17 in Datenspei- der bisherige Speicherinhalt und zum anderen das Er- 
chern 18 und stellt deren Bits als Teil-Merkmalsvektor gebnis des AD-WandJers 20 zugefOhrt und der Ausgang, 
(fOr ein Vollbild) einer Korrelationseinrichtung zur Ver- 30 d. h. die Summe mit gleichem Takt unter der gleichen 
fdgung. Jeder solche Teil-Merkmalsvektor enthalt die Adresse in einen der beiden RAM-Speicher 22 oder 23 
Daten eines Vollbildes. abgespeichert Jedem Cluster entspricht dabei eine 
Da jedem Vollbild n Cluster (z. B. n = 10) entnommen Speicherzelle. Bei den Speichern handelt es sich um so- 
werden, die n-te Differenz jedoch durch Vergleich mit genannte Dual-Port-RAMs, die an ihrem anderen Port 
dem ersten Cluster des nachsten Bildes zustandekommt, 35 asynchron wieder ausgelesen werden kdnnen. 
mflssen n + 2 Halbleiterschalter und Integratoren vor- Ein Mikroprozessor 24 liest aus dem RAM 22 oder 23 
handen sein. Einer der beiden Integratoren 16 n +i oder die kumulierten Luminanzwerte aus, bildet die Diffe- 
16n+2 speichert die Information des n-ten Clusters des renzwerte zwischen "benachbarten" Clustern und gibt 
vorhergehenden Bildes; der andere Integrator 16 n + 2 deren Vorzeichen an einen weiteren Speicher 25, der 
oder 16 n +i nimmt die Information des letzten Clusters 40 hier mit Ausgabelatch bezeichnet ist, weiter. An den 
des aktuellen Bildes auf und speichert sie fiir den Ver- AusgSngen dieses Ausgabelatch 25 stehen dann die glei- 
gleich beim nachstfolgenden Bild. Ftir diese beiden Inte- chen Bits als Bild-Merkmalsvektor an, wie an den Spei- 
gratoren gilt eine besondere Regelung. Sie werden fur cherplatzen I81 — 18n im Ausftthrungsbeispiel der Fig. 5. 
jedes zweite Vollbild abwechselnd aktiviert Nach Ab- Auch hier ist wie im AusfQhrungsbeispiel der Fig. 5 
lauf eines Bildes und vor Beginn des neuen Vollbildes 45 ein "Vollbildflag" vorgesehen, das aus einem Speicher 19 
werden alle Integratoren bis auf einen geloscht, d. h. auf abzulesen ist 

0 zurUckgesetzt Im einfachsten Fall besteht ein Integra- Im Ausfiihrungsbeispiel der Fig. 6 werden zwei iden- 

tor aus einem RC-Glied, dessen Kondensator durch ei- tische Speicher 22 und 23 verwendet, wobei immer in 

nen Reset-Impuls und einen elektronischen Schalter einen Speicher das aktuelle Bild eingelesen wird, wfth- 

bzw. einen FET-Transistor entladen wird. 50 rend das andere verarbeitet wird. Die Umschaltung er- 

ZusStzlich stellt die Steuerzentrale 13 noch ein Signal folgt fiber die Steuerzentrale 13 durch entsprechende 

zur Verftigung, das als "Vollbild- Flag" der Korrelations- Ansteuerungen der Eingange fiir Lesen (Rd), Schreiben 

einrichtung die GUltigkeit der in den Speichern 18 ge- (Wr) und Takt (CI). 

speicherten Werte anzeigt Zur Speicherung dieses In einer praktischen Ausfiihrungsform kdnnen die 

Flags ist ein weiterer Speicher 19 vorgesehen. 55 beiden Speicher 22 und 23 naturlich in einen integrier- 

Alternativ k6nnte vorgesehen sein, nur n -M Halblei- ten Schaltkreis zusammengefaBt sein, ebenso wie auch 

terschalter und n + 1 Integratoren vorzusehen und die die Funktion des Mikroprozessors 24 und der Steuer- 

Information des n-ten Clusters abwechseln bei jedem zentrale mit AdreBgenerator 13. 

Vollbild in den Integrator n oder den Integrator n + 1 Das Codierfeld 14, das auch hier die Zuordnung der 

einzuschreiben. Die Ansteuerung der entsprechenden 60 Pixel (Spalten- und Zeilenadresse) zu den einzelnen CIu- 

Schalter 15 n und 15 n + j wilrde zus&tzlich zu den AdreB- stern vornimmt, ist in einem Programmspeicher zu dem 

signalen aus der Steuerzentrale 13 Qber einen Umschal- Mikroprozessor untergebracht In Fig. 6 sind lediglich 

ter erfolgen, der durch einen bis zwei zahlenden Bin&r- Funktionsblocke zum besseren Verstandnis getrennt 

zfihler oder beispielsweise ein Flip-Flop angesteuert gezeichnet 

wird. Entsprechend mtiflte der letzte Komparator 17n, 65 Fig- 7 zeigt ein stark vereinfachtes Blockschaltbild ei- 
der den Vergleich zwischen dem ersten Cluster des ak- ner Korrelationseinrichtung. Eine Signalvorverarbei- 
tuellen Vollbildes mit dem n-ten Cluster des vorherge- tung 26 entsprechend den AusfGhrungsbeispielen der 
henden Vollbildes durchftihrt, zwischen diesen beiden Fig. 5 oder 6 liefert jeweils bei Beendigung der Abta- 
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stung eines Vollbildes einen Teil-Merkmalsvektor, der genden Signale parallel in den Speicher 42 zu uberneh- 

beim hier beschriebenen Ausfuhrungsbeispiel eine Lan- men, was durch das Vollbild-Flag des Speichers 19 ge- 

ge von 10 Bit hat. Jeweils 51 aufeinanderfolgende Voll- speichert werden kann. 

bilder ergeben einen Merkmalsvektor von 510 Bit In Eine Zahlerkette mit hintereinander geschalteten 

einer "Lernphase" werden von Testmustern (ausgewahl- 5 Zahlern 43, 44 und 45 erhalt uber ein UND-GATTER 46 
te Bildfolgen) entsprechende Merkmalsvektoren er- das Taktsignal <t> und bestimmt uber seine Ausgange die 

zeugt und in einem Speicher 28 abgespeichert Dies ist Adressen des Speichers 42, unter denen die vom Bus- 

durch die gestrichelte Linie zwischen der Signalvorver- treiber 41 ankommenden Signale abgespeichert wer- 

arbeitung 26 und dem Speicher 28 angedeutet, sowie den. Hierzu wird der Takt <D im Zahler 43 zunachst 

durch einen Schalter 70, der in der "Lernphase" ge- io durch 8 geteilt und als Byteadresse an die AdreBleitun- 

schlossen ist Der Speicher enthalt eine Anzahl m Merk- gen AO bis A10 des Speichers 42 gelegt. 

malsvektoren. Der 1/0-Obergang bestimmter AdreBleitungen steu- 

Wahrend des normalen Betriebes erzeugt die Signal- ert zwei mit negativen Flanken getriggerte JK-Flip- 

vorverarbeitung 26 ebenfalls alle 40 ms einen Teilmerk- Flops 46 bzw. 47, welche wichtige Steuerfunktionen 

malsvektor von 10 Bit Lange. Die Teilmerkmalsvekto- 15 ubernehmen. Bei einer Lange der Merkmalsvektoren 

ren werden in ein Register 29 eingeschrieben, das insge- von 512 Bit wird bei einem 1/0-Obergang der AdreBlei- 

samt eine Anzahl n (beispielsweise 51) Teilbildvektoren tung A5 das erste Flip-Flop 46 getriggert, wenn ein 

enthalt Nach jedem Vollbild wird der letzte Teilbild- Merkmalsvektor vollstandig gespeichert ist. Dieses 

vektor neu eingeschrieben und der erste Teilbildvektor Flip-Flop wird zu Beginn einer "Lernphase" durch eine 

gelSscht Damit wird der Merkmalsvektor (mit einer 20 Taste 48 ("Lern-StartausfOhrung") und zwei Gatter 49 

Lange von 510 Bit) also laufend aktualisiert Diese Ak- und 50 gesetzt (Ausgang Q « 1; Q quer = 0) und kippt 

tualisierung erfolgt durch eine Steuerung 27, die von dann beim 1/0-Obergang der AdreBleitung A5 zuruck 

dem Speicher 19 der Fig. 5 oder 6 ein Signal fur die und loscht die Zahler 43, 44 und 45. Es konnen dann 

Beendigung der Abtastung eines Vollbildes erhalt So- weitere Merkmalsvektoren geladen werden, indem die 

bald ein Teil-Merkmalsvektor fur ein neues Vollbild in 25 beiden Zahler 44 und 45 uber hier nicht gezeigte Leitun- 

das Register eingeschrieben ist, ruft die Steuerung 27 gen auf eine Startadresse gesetzt werden. Nach jeweils 

aus dem Speicher 28 nacheinander alle dort gespeicher- weiteren 512 Takten wird wiederum uber das Flip-Flop 

ten Merkmalsvektoren ab und schreibt diese zeitlich 46 der Vorgang gestoppt Die mit "Maskenende" be- 

nacheinander, in ein Register 30. Die beiden Register 29 zeichnete Leitung 51, die mit der AdreBleitung A5 ver- 

und 30 sind mit einem Vergleicher31 verbunden, der die 30 bunden ist, signalisiert einer hier nicht gezeigten Zen- 

Registerinhalte vergleicht und bei einem vorgegebenen traleinheit das Ende des Einschreibevorganges einer 

Grad der Obereinstimmung (z. B. 85 bis 95%) ein Signal Maske bzw. eines Merkmalsvektors, wodurch der Takt 

"erkannt" an die Steuerung 27 abgibt Innerhalb der 40 <D unterbrochen wird. 

ms, die bis zum Eintreffen des nachsten Teil-Merkmals- Wenn alle Merkmalsvektoren in den Speicher 42 ein- 

vektors des letzten Vollbildes verstreichen, vergleicht 35 gelesen sind, wird ein Umschalter 70 in die dargestellte 

der Vergleicher alle vollstandigen Merkmalsvektoren Stellung "K." fur Korrelieren umgeschaltet Gleichzeitig 

(Anzahl m) die im Speicher 28 abgespeichert sind. wird der Takt O erhoht Es werden dann die von den 

Werden die Registerinhalte der Register 29 und 30 als Signalvorverarbeitungen der Fig. 5 oder 6 ankommen- 
"ubereinstimmend" erkannt, so kann die Steuerung 27 den, auszuwertenden Signale des laufenden Program- 
das weitere Auslesen von Merkmalsvektoren aus dem 40 mes uber eine Torschaltung 52 in nachfolgend naher 
Speicher 28 abbrechen. Zusatzlich registriert die Steue- beschriebener Weise in einen Speicher 53 eingelesen, 
rung 27 die Adresse desjenigen Merkmalsvektors im und zwar wiederum mit derselben Taktrate, mit der die 
Speicher 28, bei dem Obereinstimmung auftrat und gibt im Zwischenspeicher 42 abgespeicherten Test-Merk- 
ein entsprechendes Signal an eine nicht dargestellte malsvektoren getaktet wurden. Wahrend des Ver- 
Zentraleinheit ab. 45 gleichsvorganges werden nacheinander alle im Speicher 

Fig. 8 zeigt ein Prinzipschaltbild einer Korrelations- 42 abgelegten Merkmalsvektoren mit dem 512 (bzw. 

schaltung. Diese Korrelationsschaltung entspricht im 510) Bit des Speichers 53 verglichen, indem uber zu 

wesentlichen der der EP 0 296 588, wo sie zur Wiederer- diesen Speichern gehorende Zahlerketten 43, 44, 45 zu 

kennung von Tonsignalen verwendet wird Durch ent- Speicher 42; Zahler 54 und 55 zu Speicher 53, diese 

sprechende Aufbereitung der Bildinformation mit den 50 Zahler adreBrichtig ausgelesen werden. Der Zahler 43 

Ausfuhrungsbeispielen der Fig. 1 bis 6 kann diese Schal- ist nur "einkanalig" belegt und enthalt die letzten 512 Bit 

tung auch fur die Wiedererkennung von Bildsignalen des an der Leitung 37 anliegenden Signales Din. Der 

verwendet werden. Die Ausgange der Speicher I81 — 18 Speicher 42 gibt seine Daten iiber einen Multiplexer 56, 

Index n (Fig. 5) oder des Ausgabespeichers 25 (Fig. 6) der eine Parallel-Serienwandlung durchfOhrt, an einen 

werden uber einen nicht dargestellten Parallel-Serien- 55 Eingang des Vergleichers ab, der hier als Exklusiv-Oder- 

Wandler als serielles Signal Di N auf eine Leitung 37 Gatter 56 ausgefuhrt ist Dem anderen Eingang dieses 

gegeben, und zwar unter Steuerung eines Taktsignales Exklusiv-Oder-Gatters 56 werden die Ausgangssignale 

<D das von einem nicht dargestellten Taktgeber auf einer des Speichers 53 zugefuhrt Bei Obereinstimmung sei- 

Leitung 38 ankommt Die seriell ankommenden Signale ner beiden Eingangssignale (also 0 und 0 oder 1 und 1) 

Din werden zunachst in ein Schieberegister 39 einge- 60 erscheint am Ausgang des Exklusiv-Oder-Gatters 56 ei- 

schrieben, wobei dieses Schieberegister vom Takt <D ne m l n , welche uber ein Gatter 57 einer Zahlerkette aus 

(Leitung 38) in Verbindung mit einem Gatter 40 gesteu- den zwei 4-Bit-Zahlern 58 und 59 zugefQhrt wird. Jede 

ert wird. Von diesem Schieberegister 39 gelangen die Obereinstimmung der Signale aus den beiden Speichern 

Signale Din byteweise (8 Bit Lange) uber einen Bustrei- 42 und 53 erhoht also den Zahlerstand der Zahlerkette 

ber 41 zu einem Speicher 42, der hier als RAM-Speicher 6 5 58,59 urn eine 1. 

mit zwei K x 8 Bit ausgelegt ist Nach einer nicht darge- Nach dem Vergleich jeweils eines Merkmalsvektors 

stellten Variante ist es auch moglich, die an den Ausgan- (512 Bit) wird durch ein Triggersignal (AdreBleitung A5) 

gen der Speicher 18 bzw. 25 in paralleler Form vorlie- fur das Flip-Flop 56 (Leitung "Maskenende") der Zahler- 
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stand der Zahler 58, 59 im D-Register 60, 61 Obernom- 
men und die Zahler 58, 59 anschlieBend geloscht Die 
D-Register 60, 61 geben ihre Daten an einen nicht-dar- 
gestellten Rechner weiter, was ebenfalls Ober das Signal 
auf der Leitung "Maskenende" (Leitung 62) gesteuert 5 
wird. 

Bei vollst&ndiger Obereinstimmung von Referenz- 
Merkmalsvektor und Test-Merkmalsvektor kann der 
Zahlerstand der Z&hler 58, 59 den Wert 512 enthalten. 
Wegen der fast immer vorhandenen Abtastfehler wird 10 
der Zahlerstand in der Regler niedriger sein. Die Praxis 
zeigt, daB bei guter Signalaufbereitung etwa 85—95% 
des maximalen Zahlerstandes bei Koinzidenz erreicht 
wird (ein Zahlerstand von 256 ist der Erwartungswert 
bei nicht-korrelierten Signalen). Wenn alle Merkmals- 15 
vektoren des Speichers 42 mit den aktuell im Speicher 
53 gespeicherten 512 Bit verglichen sind, wird dies — je 
nach Anzahl der Merkmalsvektoren — auf einem der 
Ausgange der Zahler 44 bzw. 45 erkannt und fiber eine 
Leitung 63 dem Flip-Flop 47 gemeldet, welches urn- 20 
schaltet und dafQr sorgt, daB ein Taktimpuls fur die 
Zahlerkette 43, 44, 45 unterdrQckt wird, wfihrend die 
Zahlerkette 54, 55 des Speichers 53 weiterschaltet und 
Ober einen Impuls auf der Leitung 64 (Ausgang des 
Flip-Flop 47) das Tor 52 f Or einen Taktimpuls 6ffnet und 25 
damit einen Abtastwert des Signales Din auf der Lei- 
tung 37 in den Speicher 53 einschreibt Dabei schaltet 
die Zahlerkette 54, 55 auch um einen Takt weiter, so daB 
zwischen den Adressen der beiden Speicher sich eine 
bei Vergleich jedes vollstandigen Merkmalsvektor eine 30 
um eine 1 vergr6Bernde Differenz ergibt Damit ist der 
Speicher 53 relativ zum Speicher 42 wie ein Schiebere- 
gister organisiert, welches nach einem Durchlaufen bzw. 
Vergleichen aller Merkmalsvektoren des Speichers 42 
um einen Schritt weiter schaltet. 35 

Sobald das ein Durchlaufen aller Merkmalsvektoren 
anzeigende Signal auf der Leitung 63 verschwindet, 
wird das Flip-Flop 47 fiber das nachste Taktsignal O, 
welches Ober Gatter 64, 65 und 66 zu dessen Rucksetz- 
eingang R gelangt, wieder rtickgesetzt, wodurch das 40 
Gatter 46, welches die Taktimpulse zu der Zahlerkette 
43, 44, 45 laBt, wieder freigegeben wird. Kurz zusam- 
mengefaBt werden also innerhalb von 40 ms, d. h. der 
Zeitdauer zum Abtasten eines Vollbildes des Videosi- 
gnales alle gespeicherten Merkmalsvektoren zu je 45 
512 Bit verglichen. Das Flip-Flop 46 Oberwacht dabei 
den einzelnen Merkmalsvektor (512 Bit), wahrend das 
Flip-Flop 47 die Gesamtzahl aller gespeicherten Merk- 
malsvektoren (lberwacht Je nach Anzahl der im Spei- 
cher 42 gespeicherten Merkmalsvektoren ist der Takt- 50 
eingang (Leitung 63) des Flip-Flop 47 mit einem ande- 
ren Ausgang der Zahlerkette 44, 45 verbunden. 

Im beschriebenen Ausftthrungsbeispiel wird der Ver- 
gleich seriell mit einem Exklusiv-Oder-Gatter 56 durch- 
gefflhrt Da die Taktfrequenz fOr den Vergleich mit der 55 
Anzahl der gespeicherten Merkmalsvektoren steigt, ist 
die Anzahl der Merkmalsvektoren durch die maximale 
Arbeitsfrequenz der digitalen Bausteine begrenzt Es ist 
daher prinzipiell auch moglich, mehrere parallel arbei- 
tende Vergleiche einzusetzen, sei es, daB der Vergleich 60 
byteweise (8 Bit) durchgeflihrt wird, sei es auch, daB im 
Extremfall alle 512 Bits parallel in 512 parallelen EX- 
OR-Gattern verglichen wQrden. Letzteres ist allerdings 
relativ aufwendig, da Speicher mit 512 Ausgangen ben6- 
tigt wOrden. 65 

Weiterhin ist es prinzipiell auch mdglich, mehrkanalig 
zu arbeiten, dergestalt, daB zwei oder mehrere Sender 
Oberwacht werden. Hierzu kdnnte man entweder den 
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Speicher 53 vergr6Bern und derart organisieren, daB 
zwei verschiedene Eingangssignale Din parallel bzw. 
zeitlich verschachtelt eingelesen und verglichen werden 
oder daB statt des einen Speichers 53 pro Kanal ein 
eigener entsprechender Speicher vorgesehen ist. 

SchlieBlich ist es auch mSglich, den Speicher 42 als 
Datenbank zu organisieren und fiber einen Suchalgo- 
rithmus zu untersuchen, ob der im Speicher 53 vorhan- 
dene "Datensatz" in der "Datenbank" des Speichers 42 
vorhanden ist Der Suchalgorithmus kann dabei auch so 
aufgebaut sein, daB nicht nur nach "identischen" Daten- 
satzen, sondern nach "ahnlichen" Datensatzen (Daten- 
satz ein Merkmalsvektor) gesucht wird. 

Da es bei der Wiedererkennung von Bildern bzw. 
Bildfolgen nicht nur darauf ankommt, ob eine der zu 
Oberwachenden Bildfolgen gespielt wurde, sondern 
auch darauf, welche von diesen, kann gleichzeitig mit 
dem Korrelationsergebnis der Zahlerkette 58, 59 der 
Zahlerstand der Zahlerkette 43, 44, 45 abgefragt und in 
die nicht dargestellte Zentraleinheit eingegeben wer- 
den. Damit ist es mSglich, den aktuell erkannten Merk- 
malsvektor (Bildfolge) zu identifizieren und dieses Iden- 
tifikationsergebnis zusammen mit Datum und Uhrzeit 
und ggf. auch den fiberwachten Sendekanal zu spei- 
chern oder auszugeben. 

Zu den Speichern 42 und 53 ist noch anzumerken, daB 
die mit WE/quer bzw. OE/quer bezeichneten Eingange 
Steuereingange sind, wobei der Eingang WE/quer ein 
negierter "write enable'-Eingang ist, der das Einschrei- 
ben in den Speicher steuert, wahrend der Eingang OE/ 
quer ein negierter "output-enable"-Eingang ist, der das 
Auslesen von Daten aus dem Speicher steuert Durch 
die diesen Eingangen vorgeschalteten Gatter wird die 
Verbindung mit dem Taktsignal O und dem Signal auf 
der Leitung 64 bezOglich des Speichers 53 bzw. durch 
die Stellung des Schalters 70 und das die Obertragung 
eines Bytes (8 Bit) aus dem Speicher 42 identifizierende 
Signal des Zahlers 43 fur den Speicher 42 Oberwacht, 
daB die beiden Speicher 42 und 53 nur zu den jeweils 
richtigen Zeitpunkten ausgelesen bzw. eingeschrieben 
werden konnen. Die fibrigen in der Zeichnung darge- 
stellten, jedoch in der Beschreibung nicht ausdrticklich 
erwahnten Gatter bzw. deren externe Beschaltungen 
dienen ebenfalls der richtigen Funktion der Ablauf- 
steuerung, wobei deren Funktion dem Fachmann ohne 
weiteres ersichtlich ist, bzw. sich beim Aufbau der dar- 
gestellten Schaltung von selbst einstellt 

Patentansprtiche 

1. Verfahren zum Wiedererkennen von unikaten 
Bildsignalen, gekennzeichnet durch folgende 
Schritte: 

a) Aus Helligkeitswerten einer Anzahl n von 
Pixeln an mehreren vorbestimmten Stellen je- 
des Vollbildes wird je ein erstes Helligkeitssi- 
gnal ennittelt, 

b) diese ersten Helligkeitssignale von in einer 
vorgegebenen Reihenfolge aufeinanderfol- 
genden Stellen werden voneinander subtra- 
hiert 

c) die Vorzeichen dieser Differenzen werden 
jeals 1 Bit digitalisiert (Signumf unktion), 

d) die digitalisierten Sign ale werden als Test- 
Bitfolge (Merkmalsvektor) abgespeichert, 

e) die Schritte a) bis d) werden ftir eine Anzahl 
m (z.B. 51) aufeinanderfolgende Vollbilder 
wiederholt, 
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f) zu untersuchende Bildsignale werden in glei- 
cher Weise (Schritte a) bis e)) zur Erzeugung 
einer Referenz-Bitfolge (Referenz-Merkmals- 
vektor) aufbereitet und 

g) jede Test-Bitfolge wird mit alien Referenz- 5 
Bitfolgen verglichen und bei Oberschreiten ei- 
nes vorgegebenen MaBes der Obereinstim- 
mung wird ein Signal fur "Bildfolge" wiederer- 
kannt erzeugt 

2. Verfahren nach Anspruch 1, dadurch gekenn- 10 
zeichnet, daB in Schritt a) raumlich zusammenhan- 
gende Pixel eines Bildes einen Cluster bilden, des- 
sen Helligkeitssignal ermittelt wird. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Pixel jedes Clusters in Form eines 15 
Quadrates unmittelbar benachbarter Pbcel ange- 
ordnet sind 

4. Verfahren nach Anspruch 3 t dadurch gekenn- 
zeichnet, daB jeder Cluster 5x5 Pixel enthalt. 

5. Verfahren nach einem der Anspruche 2 bis 4, 20 
dadurch gekennzeichnet, daB die Helligkeitswerte 
(Luminanzwerte) aller Pbcel eines Clusters zu dem 
Helligkeitssignal aufsummiert werden. 

6. Verfahren nach einem der AnsprOche 2 bis 4, 
dadurch gekennzeichnet, daB der arithmetische 25 
Mittelwert der Helligkeitswerte aller Pbcel eines 
Clusters das Helligkeitssignal bildet 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB das Subtrahieren der 
Helligkeitssignale von in einer vorgegebenen Rei- 30 
henfolge benachbarten Stellen und das Digitalisie- 
ren der Vorzeichen dieser Differenzen in einem 
Arbeitsschritt mittels eines Komparators durchge- 
fUhrtwird. 

8. Verfahren nach einem der Anspruche 2 bis 7, 35 
dadurch gekennzeichnet, daB die Cluster statistisch 
Ober die Fiache des Vollbildes verteilt sind. 

9. Verfahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daB die Reihenfolge, in der die Hellig- 
keitssignale benachbarter Cluster voneinander 40 
subtrahiert bzw. miteinander verglichen werden, so 
festgelegt ist, daB der Mittelwert der raumlichen 
Abstande der in dieser Reihenfolge jeweils benach- 
barten Cluster einen Maximalwert einnimmt 

10. Verfahren nach Anspruch 9, dadurch gekenn- 45 
zeichnet, daB der in der Reihenfolge letzte Cluster 
mit dem ersten Cluster des nachsten Vollbildes ver- 
glichen wird. 

11. Verfahren nach Anspruch 9, dadurch gekenn- 
zeichnet, daB der in der Reihenfolge letzte Cluster 50 
mit dem ersten Cluster des nSchstfolgenden Voll- 
bildes verglichen wird. 

12. Verfahren nach einem der Anspruche 8 bis 11, 
dadurch gekennzeichnet, daB mindestens zwei von- 
einander verschiedene Clusteranordnungen (Mas- 55 
ken) vorgesehen sind und daB aufeinanderfolgende 
Vollbilder mit zykKsch abwechselnder Clusteran- 
ordnung (Masken) abgetastet werden. 

13. Verfahren nach Anspruch 12, dadurch gekenn- 
zeichnet, daB bei Verwendung von zwei Clusteran- 60 
ordnungen (Masken) diese einander gleich jedoch 
gegeniiber einem abzutastenden Bild um 90 Grad 
gegeneinander gedreht sind. 

14. Verfahren nach Anspruch 12 oder 13, dadurch 
gekennzeichnet, daB jede Testbildfolge mit alien 65 
zyklischen Clusterfolgen (Masken) abgetastet wird, 
daB jede Referenzbildfolge nur mit einer zyklischen 
Clusterfolge (Maske) abgetastet wird und daB jede 
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so ermittelte Referenzbitfolge nur mit einer ausge- 
wahlten der verschiedenen Testbildfolgen korre- 
liert wird. 

15. Verfahren nach einem der AnsprOche 1 bis 14, 
dadurch gekennzeichnet, daB der Vergleich jeder 
Test-Bitfolge mit alien Referenzbitfolgen jedesmal 
dann stattfindet, wenn ein Vollbild abgetastet ist 

16. Vorrichtung zur Durchfuhrung des Verfahrens 
nach einem der Anspruche 1 bis 15, gekennzeichnet 
durch: 

— einen Taktaufbereitungsschaltkreis (12), der 
aus einem Videosignal mindestens ein Zeilen- 
taktsignal und ein Spaltentaktsignal erzeugt, 

— ein Codierfeld (14), das vorbestimmte Pixel 
des im Videosignal enthaltenen Bildes bezeich- 
net, 

— eine Steuereinrichtung (13), die mit dem 
Taktaufbereitungsschaltkreis (12) und dem 
Codierfeld (14) verbunden ist und mindestens 
einen Summierer (21; I61 — 16n + 2), so ansteu- 
ert, daB Luminanzwerte des Videosignales, der 
von dem Codierfeld (14) vorbestimmten und 
durch das Zeilentaktsignal und das Spalten- 
taktsignal identifizierten Pixel in zu Clustern 
zusammengefaBten Gruppen aufsummiert 
werden, 

— eine Vergleichseinrichtung (24; 17i — 17 n ) in 
der die Summensignale der einzelnen Cluster 
mit Summensignalen anderer vorbestimmter 
Cluster verglichen werden und pro Vergleich 
ein digitales Signal in Form eines Bits erzeugt 
wird, das anzeigt, welcher der beiden vergli- 
chenen Cluster einen groBeren Luminanzwert 
hat, 

— einen Speicher (25; 18j, 18n), in dem die 
Vergleichsergebnisse gespeichert werden und 

— eine Korreliereinrichtung (Fig. 7), in wel- 
cher der Inhalt des. Speichers (25; I81 ... 18 n ) 
mit in einem weiteren Speicher (30; 42) gespei- 
cherten Testbildmustern in einer vorbestimm- 
ten Taktfolge laufend korreliert werden. 

17. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB die Summierer Integratoren 
(I61 — 16 n +2) sind, die Ober von der Steuereinrich- 
tung (13) angesteuerte Schalter (15j — 15 n +2) mit 
dem Videosignal beaufschlagt werden. 

18. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB der Summierer eine arithme- 
tisch/logische Recheneinheit (21) ist, deren einem 
Eingang Ober einen Analog/Digital-Wandler (20) 
ein digitalisiertes Videosignal und deren anderem 
Eingang ein in einem Zwischenspeicher (22, 23) 
zwischengespeicherter Wert zugefuhrt wird und 
deren Ausgang mit dem Zwischenspeicher (22, 23) 
verbunden ist 

19. Vorrichtung nach Anspruch 17, dadurch ge- 
kennzeichnet, daB die Ausgange der Integratoren 
(I61 — 16 n +2) jeweils paarweise mit einem Kompa- 
rator (17i — 17 n ) verbunden sind, der die in den zu- 
geordneten Integratoren aufsummierten Lumi- 
nanzsignale vergleicht und in Abhangigkeit von 
diesem Vergleich ein Signal an den Speicher 
(18i-18 n )ausgibt. 

20. Vorrichtung nach Anspruch 19, dadurch ge- 
kennzeichnet, daB einem Eingang der Komparato- 
ren (17i — 17 n ) zusatzlich ein vorbestimmter 
Schwellwert hinzuaddiert wird. 

21. Vorrichtung nach Anspruch 18, dadurch ge- 
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kennzeichnet, daB die in den Zwischenspeichern 
(22, 23) fflr die einzelnen Cluster abgespeicherten 
Summensignale unter Steuerung eines Mikropro- 
zessors (24) in vorbestimmter Reihenfolge mitein- 
ander verglichen werden und das Vergleichsergeb- 5 
nis in den Speicher (25) abgelegt wird. 
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